chapter 2: A gentle start
簡単な設定で学習を成功させる方法から、数学的な考察を詳しく見ていく
無人島へ漂着したとして、そこにあったパパイヤが美味しい / 不味いを予測することを考える
あなたは普段の経験から「色」と「硬さ」に注目して考えることにした
予測のルールを探すための手がかりとなるのは、いくつかパパイヤの標本(サンプル)だけである
まず最初のステップは、このような学習タスクを表現した形式的なモデルを表現することである。
2.1 A Formal Model { The Statistical Learning Framework
アクセス可能な入力:
domain set
label set
training data
学習の出力:
prediction rule
単純なデータ生成モデル:
学習者側からはよくわからない確率分布D
Dによってインスタンスxをサンプリングし、理想的なfによってラベリングされる
こうしてトレーニングデータをつくる(生成する)
性能評価:
学習者がアクセスしうる情報について:
Dやfに関してはblindである
トレーニングセットを観察して相互に作用させることだけできる(?)
2.2 Empirical Risk Minimization
d,f を知らないために、真のエラーについても学習者は知ることができない
トレーニングエラーを知ることはできる
トレーニングにおけるエラーを減らす学習を「経験損失最小化;ERM」とよぶ
ただしそれだけだと「過学習」がおこる
2.2.1 Something May Go Wrong Overtting
2.3 Empirical Risk Minimization with Inductive Bias
ERMのルールが過学習を導くかもしれないということを示します。ERMによって引き起こされること(過学習)を諦めるよりも、むしろそれを是正する方法を探します。私達は、ERMが過学習しないと保証される状況 を探します、すなわち、訓練データに関してERMのPredictorが良いパフォーマンスを発揮する という状況を探します。その状況は、Underluingなデータ分布においても良いパフォーマンスを発揮しそうであるとも言えます。
ありふれた一つの解法は、探索空間を制限してERMルールを適用することです。形式的に言えば、学習機が事前に(訓練データを見る前にに)予測器のSETを選ぶべきだということです。この集合はhypothesisクラスと呼ばれ、Hで表されます。それぞれの $ h \in
2.3.1 Finite Hypothesis Classes
2.4 Exercises
わからなかった単語
mushy
arbitrary
denote
finite
{A, B}
×
a sequence of A
h: x→y
notation
will be relaxed in
trying to figure out
aforementioned
underlying
namely
≝
indicate
interchangeably
omit
incur
inductive
rectify
∀、∃
s.t.
coordinate
suffice
reasonably